150d707c34032f1ffddaeae7a2c972a91b18cf93
v4
- challenge
- Passage Retrieval
- submitter
- BI Insight
- submitted
- 2022-12-21 21:40:22.256306 UTC
- file basename
- out
test-A / 18e5ca7007fa0d72a50de0c026dabf8d391e1339
| Metric | Score |
|---|---|
| NDCG@10 | 37.37 |
dev-0 / 576cc5ffcfc5decdee12e0f0896ef47bf67cb083
| Metric | Score |
|---|---|
| NDCG@10 | 32.08 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-A NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia W którym państwie leży Bombaj? | 42609-0 2856658-0 119428-0 | 2005842-2 1158331-1 1760331-3 3524832-0 2377444-0 108-23 2948500-2 1518821-1 4935649-0 3112158-0 | 0.00 |
| 2 | wiki-trivia Do którego państwa należą wyspy Rodos i Korfu? | 1743-6 | 1316843-0 109175-0 1929638-1 552904-0 612949-0 109175-5 891384-0 3572733-0 101527-1 4304342-6 | 0.00 |
| 3 | wiki-trivia Jak nazywa się polski okręt bojowy, którym brał udział w II wojnie światowej, a od 40 lat znajduje się w Gdyni? | 4360-0 1932-49 4359-71 387651-2 | 306982-0 4978480-17 14103-0 222547-0 321358-1 1489651-0 1488895-0 1799769-22 3180509-4 1720777-0 | 0.00 |
| 4 | wiki-trivia Mecenasem którego wielkiego kompozytora był król bawarski Ludwik II? | 58136-8 162129-3 | 1263250-2 2077252-2 181282-7 2896543-3 1023224-1 162129-6 1697353-1 1073425-1 1023230-1 1852548-4 | 0.00 |
| 5 | wiki-trivia Która zupa jest symbolem rzeczy bardzo taniej? | 2137401-4 | 7084-1 762402-0 1589274-4 1965911-3 72525-258 3311571-3 4625555-8 1351515-1 117639-20 2533379-36 | 0.00 |
| 6 | wiki-trivia Jak nazywa się najwyższy masyw górski Sudetów? | 9879-0 | 5465-0 453381-20 5465-10 456997-0 108372-0 1701205-0 118296-8 523-0 1266374-0 1818509-0 | 0.00 |
| 7 | wiki-trivia W którym starożytnym mieście budowano wieżę Babel? | 10168-12 13187-9 1861864-1 | 10168-0 3741509-14 10168-27 1163900-0 10168-15 10168-7 10168-3 10168-29 10168-24 10168-17 | 0.00 |
| 8 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 73042-0 2920865-0 937406-0 76591-0 3317324-0 1948222-0 4625746-5 354435-4 286789-0 1227588-0 | 0.00 |
| 9 | wiki-trivia Z którego państwa pochodzi Stieg Larsson, autor trylogii kryminalnej „Millennium”? | 4446190-0 5018537-0 461434-5 | 2210821-0 3612653-0 1442177-0 4081812-6 2130804-0 2044201-0 4102741-0 1498341-5 1442177-1 623975-0 | 0.00 |
| 10 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 10037-0 3608-0 24742-7 24742-3 16086-0 46111-0 34187-0 31747-0 45499-0 2227915-0 | 0.00 |
| 11 | wiki-trivia Jak nazywają się dwie liczby rzeczywiste, których wynik po dodaniu wynosi zero? | 736338-0 | 9828-0 1856051-1 10461-37 3289-61 30330-5 513522-0 30332-6 889941-51 917904-18 896399-13 | 0.00 |
| 12 | wiki-trivia Jak z łaciny nazywa się ćwiczenie ortograficzne polegające na zapisywaniu tekstu? | 962835-0 | 16354-2 7431-75 1881208-0 474561-0 221655-6 330107-1 562243-1 114166-2 21096-27 4319444-0 | 0.00 |
| 13 | wiki-trivia W którym roku odbyła się pierwsza próba jądrowa? | 2312943-3 274961-0 1937784-0 1756259-2 4057-3 | 80936-12 492418-3 7293-30 1696493-8 1337918-1 7751-25 1826203-36 129691-93 638279-3 2839903-11 | 0.00 |
| 14 | wiki-trivia Jak nazywa się autobus elektryczny zasilany z sieci zawieszonej nad drogą? | 65401-0 | 45745-0 45735-9 802949-47 289416-0 3820485-9 89926-5 35994-24 327866-93 356658-22 46922-5 | 0.00 |
| 15 | wiki-trivia Kto napisał „Ziemię obiecaną” oraz „Chłopów”? | 491777-0 503711-0 6624-9 503711-67 | 1474653-0 2052685-20 937744-20 6624-11 746926-77 503711-11 3740698-27 89155-0 2599243-1 503711-1 | 0.00 |
| 16 | wiki-trivia Jak nazywała się akcja przesiedlenia Ukraińców z 1947 r.? | 20338-0 785771-2 20297-4 929707-2 968749-0 | 381998-21 875057-0 71676-105 101640-3 706804-21 76561-23 2314724-9 706804-25 385429-6 4659837-10 | 0.00 |
| 17 | wiki-trivia Jakim skrótem literowym oznacza się osobę o nieustalonej tożsamości? | 938989-0 57033-0 4162956-0 1249108-11 | 2239844-21 1919191-28 3806-3 222726-8 172733-38 6090-21 108880-8 4127-2 644625-23 102809-0 | 0.00 |
| 18 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 425167-1 314765-5 2807644-19 1658867-146 395316-1 677316-9 390349-0 568164-1 423792-21 1818942-5 | 0.00 |
| 19 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 984901-19 6567-1 984901-6 7-49 984901-18 43683-10 121572-19 6425-3 43683-7 984901-17 | 0.00 |
| 20 | wiki-trivia Który amerykański prezydent uczestniczył w konferencji pokojowej w Jałcie? | 25733-0 2261468-0 | 1197116-6 317788-1 15991-5 331182-4 17348-87 687909-4 1602497-8 4364380-9 275539-0 1217680-4 | 0.00 |
| 21 | wiki-trivia Czy w Polsce panował król o imieniu Ludwik? | 18470-0 11289-2 489028-1 650042-0 1227360-0 | 18470-3 126804-3 72097-42 3311801-0 4187966-10 630875-95 199569-2 630875-88 6461-3 33267-4 | 0.00 |
| 22 | wiki-trivia Na cześć kogo obchodzony jest dzień Kotana? | 44879-8 174481-12 86849-16 | 3674136-0 1827042-13 303985-0 329428-32 2322328-1 46914-7 7634-0 676942-7 2605129-9 233530-1 | 0.00 |
| 23 | wiki-trivia Jak nazywała się dawna rezydencja cesarska w Pekinie? | 74254-0 95568-1 | 2819645-23 2521418-0 1746085-0 1968879-0 2070144-0 5047935-0 1906305-0 637443-0 1940895-0 2975809-0 | 0.00 |
| 24 | wiki-trivia Jaką nazwę noszą połączone izby Sejmu i Senatu RP? | 2462290-5 589110-0 33023-0 189807-44 3039370-2 | 8653-0 2462290-0 59425-0 2352430-0 5246661-3 2055595-20 4816857-3 8653-3 115492-7 115521-7 | 0.00 |
| 25 | wiki-trivia Jak nazywa się na statku oficer zajmujący się sprawami gospodarczymi? | 558647-0 558647-1 | 391783-28 523776-3 1322911-1 470606-7 1017360-8 1018150-8 1017470-7 1018156-12 1019218-8 1017545-8 | 0.00 |
| 26 | wiki-trivia Z repertuaru którego zespołu pochodzi utwór „Jestem z miasta”? | 1642348-0 741949-0 204472-3 3208891-8 | 2258556-1 921731-0 1642348-2 172313-29 5165180-14 67929-88 3188442-7 3450032-1 591792-2 974175-3 | 0.00 |
| 27 | wiki-trivia Co po łacinie oznacza słowo „lupus”? | 330559-0 622969-2 63166-0 63166-49 63166-9 | 23951-9 48275-46 573765-0 5219832-5 5129490-1 91956-12 3009115-6 3177089-2 242799-5 1890285-6 | 0.00 |
| 28 | wiki-trivia Jak nazywał się pancernik, który rozpoczął II wojnę światową? | 14103-0 1815538-17 2304-13 89007-6 3241-119 | 1634202-0 7830-15 828552-5 24109-199 2555465-0 10486-0 3874708-0 1467956-0 15343-0 1631702-14 | 0.00 |
| 29 | wiki-trivia Jak miała na imię żona Heraklesa? | 3136602-0 39725-0 11468-0 11468-22 39725-2 | 204427-2 12500-0 204427-0 553468-0 11468-9 27899-48 1201-2 12500-15 4075888-1 1237251-0 | 0.00 |
| 30 | wiki-trivia Która dyscyplinę sportu uprawiał zawodowo Mariusz Czerkawski? | 201577-0 118655-38 2733996-19 935701-2 | 201577-63 201577-3 201577-67 1665385-46 201577-69 201577-55 123954-0 474144-3 286184-10 402012-420 | 0.00 |
| 31 | wiki-trivia Jakie zwierzę widnieje w godle Wenecji? | 3517-75 517835-1 996055-5 | 1356015-0 925742-1 2378349-2 752899-0 806771-0 2135890-2 602381-3 772527-13 204663-4 87035-3 | 0.00 |
| 32 | wiki-trivia Jedna z mitycznych gorgon oraz jamochłon morski mają wspólną nazwę? | 108851-0 108851-2 108851-4 27899-19 1877199-2 | 227878-0 107821-0 84135-0 463184-0 1877199-0 953156-1 107821-4 480125-1 105992-1 4539025-0 | 0.00 |
| 33 | wiki-trivia Kto był ojcem Pegaza? | 108851-11 269351-0 16435-1 | 55509-6 101773-2 55509-7 101773-6 45889-0 55509-21 55509-22 55509-2 2035557-2 1404149-14 | 0.00 |
| 34 | wiki-trivia Na jaką chorobą zapadła Nel, bohaterka „W pustyni i w puszczy”? | 88267-8 | 88267-23 88267-21 1775405-4 88267-19 435160-0 2279030-0 664688-1 88267-25 88267-14 88267-16 | 0.00 |
| 35 | wiki-trivia Jak z francuskiego nazywa się pomieszczenie w teatrze, w którym widownia przebywa w trakcie przerwy? | 736692-0 | 63342-6 1917509-1 41680-0 46823-0 781183-4 1666564-16 346162-0 4185956-4 4592165-2 47733-3 | 0.00 |
| 36 | wiki-trivia Jak nazywa się elastyczna deska umożliwiająca wybicie przy skokach do wody? | 90738-0 2996100-0 2996414-0 2066472-0 4112844-1 | 749086-0 2330285-0 695540-2 74639-0 90738-1 17500-9 893903-1 49371-1 1055624-3 1268176-2 | 0.00 |
| 37 | wiki-trivia W którym roku USA wypowiedziało wojnę Niemcom podczas I wojny światowej? | 7258-19 5603-62 18861-27 7767-17 | 2274-101 701190-16 7258-10 7584-13 2475000-35 88006-103 701190-19 914206-1 1938769-38 2389-101 | 0.00 |
| 38 | wiki-trivia Jakiego koloru jest pojęcie którego się nie ma? | 179111-7 1870244-3 1915957-24 6811-175 4638002-1 | 147093-16 2331638-39 246637-3 2972-17 4750-5 10279-5 427976-148 371015-1 3169012-7 3482-10 | 0.00 |
| 39 | wiki-trivia Czy knock down to to samo co knock out? | 1380727-1 | 3908419-0 1054850-0 74999-59 1372080-4 797585-4 47140-0 2064472-12 1605180-0 1367678-0 2619593-0 | 0.00 |
| 40 | wiki-trivia Co oznacza skrót 4WD na samochodach? | 146256-0 360783-21 1032397-4 277277-10 1114715-1 | 2033079-1 2033365-9 134010-7 2639422-0 314176-73 2279961-0 2910479-1 1564559-2 2033365-0 2033365-10 | 0.00 |